使用 Ollama 本地运行各种 LLM

之前分享过如何用 Gaia 来本地运行LLM（GaiaNet - AI + Web3）。今天看看另外一个产品Ollama。Ollama 的安装非常简单，只需从官网（https://ollama.com/download）下载后解压缩，并在 Terminal 中运行脚本 ollama run llama3 即可完成环境设置。

我尝试运行 Llama3，虽然在运行时占用了大量电脑资源，使得其他应用运行变慢，但整体体验尚可。

Ollama 支持多种大型语言模型（https://ollama.com/library）。

最新版本还加入了对 Embedding models 的支持，使用 Chroma DB 技术，这使得开发者能够构建基于检索增强生成（RAG）的应用，通过结合文本提示与现有文档或其他数据来生成内容。之前分享的 Gaia 也有类似的功能。

具体步骤如下：

1. 生成嵌入向量
2. 检索
3. 生成内容